Annan sinh ngày 8 tháng 4 năm 1938 tại Kusami, Ghana, con của Reginald và Victoria Annan. Kofi nghĩa là "cậu bé sinh vào ngày thứ Sáu". Annan là con song sinh, một sự kiện được xem là đặc biệt trong văn hoá Ghana. Người em song sinh của ông được đặt tên Efua Atta, qua đời năm 1991. Trong tiếng Akan, Efua có nghĩa là "cô bé sinh vào ngày thứ Sáu" và Atta có nghĩa là "sinh đôi".

Gia đình Annan thuộc thành phần ưu tú của đất nước; ông nội, ông ngoại và bác của Annan là tù trưởng bộ tộc. Cha của Annan mang hai dòng máu Asante và Fante; mẹ ông thuộc bộ tộc Fante. Cha của Annan trong một thời gian dài là giám đốc xuất khẩu cho công ty cacao Lever Brothers.